Big Data and Analytics JSON Data Fetch এবং Manipulation গাইড ও নোট

380

JSON (JavaScript Object Notation) একটি জনপ্রিয় ডেটা ফরম্যাট, যা সাধারণত ওয়েব অ্যাপ্লিকেশন এবং API এর মাধ্যমে ডেটা আদান-প্রদান করতে ব্যবহৃত হয়। JSON ডেটা সাধারণত পাঠযোগ্য, সহজে স্ট্রাকচারড এবং হালকা হয়। আর প্রোগ্রামিংয়ে JSON ডেটা ফেচ এবং ম্যানিপুলেশন করার জন্য বেশ কিছু শক্তিশালী প্যাকেজ রয়েছে। এর মধ্যে httr, jsonlite এবং dplyr প্যাকেজগুলো অন্যতম।


JSON Data Fetch in R

আর প্রোগ্রামিংয়ে JSON ডেটা fetch করার জন্য httr এবং jsonlite প্যাকেজ ব্যবহার করা হয়। এই প্যাকেজগুলো API থেকে JSON ডেটা রিট্রিভ (retrieve) করতে সহায়তা করে।

httr প্যাকেজ ব্যবহার করে JSON ডেটা Fetch করা

httr প্যাকেজ API থেকে GET, POST, PUT ইত্যাদি HTTP রিকুয়েস্ট পাঠিয়ে JSON ডেটা ফেচ করতে ব্যবহৃত হয়।

উদাহরণ:

# httr প্যাকেজ ইনস্টল ও লোড করা
install.packages("httr")
library(httr)

# API থেকে JSON ডেটা ফেচ করা
response <- GET("https://jsonplaceholder.typicode.com/posts")
json_data <- content(response, "parsed")

# JSON ডেটা দেখানো
print(json_data)

এখানে, GET() ফাংশনটি API থেকে JSON ডেটা ফেচ করছে এবং content() ফাংশনটি JSON ডেটাকে R ডেটা ফরম্যাটে পার্স (parse) করছে।


jsonlite প্যাকেজ ব্যবহার করে JSON ডেটা Fetch করা

jsonlite প্যাকেজ JSON ডেটা ফেচ এবং পার্স করার জন্য আরও সহজ এবং শক্তিশালী। এটি JSON ডেটাকে ডিরেক্টলি R ডেটা ফ্রেমে রূপান্তর করে।

উদাহরণ:

# jsonlite প্যাকেজ ইনস্টল ও লোড করা
install.packages("jsonlite")
library(jsonlite)

# API থেকে JSON ডেটা ফেচ করা
json_data <- fromJSON("https://jsonplaceholder.typicode.com/posts")

# JSON ডেটা দেখানো
print(json_data)

এখানে, fromJSON() ফাংশনটি JSON ডেটা সরাসরি R এর ডেটা ফ্রেমে রূপান্তর করে, যা পরবর্তীতে বিশ্লেষণ বা ম্যানিপুলেশনের জন্য ব্যবহৃত হতে পারে।


JSON Data Manipulation in R

JSON ডেটা fetch করার পর, এটি সাধারণত একটি R ডেটা ফ্রেম বা লিস্টে রূপান্তরিত হয়। এরপর, ডেটাকে ম্যানিপুলেট করতে dplyr এবং tidyr প্যাকেজ ব্যবহার করা হয়।

JSON Data Manipulation with dplyr

একবার JSON ডেটা R ডেটা ফ্রেমে রূপান্তরিত হলে, আমরা dplyr প্যাকেজের মাধ্যমে ডেটা ম্যানিপুলেট করতে পারি। উদাহরণস্বরূপ, কলাম নির্বাচন, ফিল্টারিং, গ্রুপিং ইত্যাদি।

উদাহরণ:

# dplyr প্যাকেজ ইনস্টল ও লোড করা
install.packages("dplyr")
library(dplyr)

# JSON ডেটা থেকে ডেটা ফ্রেম তৈরি করা (jsonlite ব্যবহার করা হয়েছে)
json_data <- fromJSON("https://jsonplaceholder.typicode.com/posts")

# dplyr দিয়ে ডেটা ফিল্টার করা
filtered_data <- json_data %>% 
  filter(userId == 1)  # userId == 1 এর সব পোস্ট ফিল্টার করা

# ফলাফল দেখানো
print(filtered_data)

এখানে, আমরা filter() ফাংশন ব্যবহার করে userId == 1 এর সব পোস্ট বের করেছি।

JSON Data Manipulation with tidyr

tidyr প্যাকেজটি ডেটার কাঠামো পরিবর্তন বা রেশেপিং করার জন্য ব্যবহৃত হয়। উদাহরণস্বরূপ, JSON ডেটায় যদি নেস্টেড লিস্ট থাকে, তাহলে unnest() ফাংশন ব্যবহার করে সেগুলি বের করা যায়।

উদাহরণ:

# tidyr প্যাকেজ ইনস্টল ও লোড করা
install.packages("tidyr")
library(tidyr)

# JSON ডেটা থেকে ডেটা ফ্রেম তৈরি করা
json_data <- fromJSON("https://jsonplaceholder.typicode.com/posts")

# নেস্টেড ডেটা আনপ্যাক (unnest) করা
unnested_data <- json_data %>% unnest()

# ফলাফল দেখানো
print(unnested_data)

এখানে unnest() ফাংশনটি নেস্টেড JSON ডেটা আনপ্যাক করে, যাতে প্রতিটি উপাদান সহজে অ্যাক্সেস করা যায়।


JSON Data Write Back to File

আর প্রোগ্রামিংয়ে JSON ডেটা এক্সপোর্ট বা সেভ (save) করার জন্য toJSON() ফাংশন ব্যবহার করা হয়। এটি ডেটাকে JSON ফরম্যাটে রূপান্তরিত করে ফাইল হিসেবে সংরক্ষণ করতে সাহায্য করে।

উদাহরণ:

# JSON ডেটা একটি ফাইলে সেভ করা
write_json(json_data, "output_data.json")

এখানে, write_json() ফাংশনটি json_data ডেটা ফ্রেমকে output_data.json নামক ফাইলে সেভ করবে।


সারাংশ

JSON Data Fetch এবং Manipulation আর প্রোগ্রামিংয়ে খুবই গুরুত্বপূর্ণ। httr এবং jsonlite প্যাকেজগুলি JSON ডেটা fetch করার জন্য ব্যবহৃত হয়, এবং ডেটা ম্যানিপুলেশন করার জন্য dplyr এবং tidyr প্যাকেজ ব্যবহার করা হয়। dplyr ফিল্টারিং, সোর্টিং এবং গ্রুপিংয়ের জন্য ব্যবহৃত হয়, এবং tidyr নেস্টেড JSON ডেটা আনপ্যাক করার জন্য ব্যবহৃত হয়। JSON ডেটাকে সহজে আর ডেটা ফ্রেমে রূপান্তরিত করে বিশ্লেষণ করা যায়, এবং পরবর্তীতে ফাইলে সংরক্ষণ করা যায়।

Content added By
Promotion

Are you sure to start over?

Loading...